Phía Nam và Đông của biển là các đảo Honshu, Hokkaido và Kyushu thuộc Nhật Bản, phía Bắc là đảo Sakhalin thuộc Nga, phía Tây giáp với vùng đất liền thuộc Nga, CHDCND Triều Tiên và Hàn Quốc. Biển thông ra Thái Bình Dương qua eo biển Triều Tiên ở phía Nam, eo biển Tsugaru (nằm giữa hai đảo Honshu và Hokkaido của Nhật Bản), eo biển La Perouse nằm giữa hai đảo Hokkaido và Sakhalin, cũng như eo biển Tatar ở phía Bắc.

Biển có diện tích khoảng 1.048.950 km², độ sâu trung bình là 1.752 m, nơi sâu nhất là 3.742 m. Biển có thể được chia làm ba lòng chảo: lòng chảo Nhật Bản ở phía Bắc có độ sâu lớn nhất, lòng chảo Yamato nằm ở phía đông nam và Tsushima ít sâu hơn nằm ở phía tây nam. Bờ biển của các hòn đảo phía đông rộng và khá phẳng, trái ngược với các bờ biển vùng đất liền, đặc biệt là vùng bờ biển bán đảo Triều Tiên, dốc, gồ ghề, nhiều vách đá.

Biển Nhật Bản mặc dù có khí hậu lạnh hơn so với Thái Bình Dương, nhưng lại thường mang đến không khí dịu mát cho quần đảo Nhật Bản.

Biển Nhật Bản không có nhiều các hòn đảo lớn. Hầu hết các hòn đảo nhỏ hơn tập trung ở gần bờ phía đông, trừ đảo Ulleungdo (Hàn Quốc). Những hòn đảo quan trọng trên biển gồm có đảo Sado, Tsushima, Ulleungdo, Liancourt, Hatsushima, Okushiri, Rebun và Rishiri.